Форум dkLab и Denwer

[Дмитрий Котеров]

Dklab Realplexor — это Comet-сервер, позволяющий держать одновремено сотни тысяч долгоживущих открытых HTTP-соединений с браузерами пользователей. JavaScript-код, запущенный в браузере, подписывается на один или несколько каналов Realplexor-а и вешает обработчик на поступление данных. Сервер может в любой момент записать сообщение в один из таких каналов, и оно будет моментально передано всем подписчикам (хоть одному, хоть тысяче), в режиме реального времени и с минимальной нагрузкой для сервера.

dklab.ru/lib/dklab_realplexor/

[Дмитрий Котеров]

* Dklab Realplexor 2009-12-26: v1.23
  - [BUG] Empty identifier passed to IN line ("identifier=") caused warnings.
  - [SPD] Lower the number of useless debug lines and connection's name() calls.
  - [BUG] Improved init script: more time to restart and better signal handling.

* Dklab Realplexor 2009-12-24: v1.22
  - [BUG] SIGPIPE causes the script to restart on some unexpected client's disconnects.

[Melethron]

Приветствую!

А как это можно установить на денвере?

[Юрий Насретдинов]

Это не для Денвера штуковина, в общем...

[Melethron]

Было бы здорово, если бы можно было тестировать свои скрипты с Realplexor на денвере.

[Ivan1986]

Melethron
Если бы windows была операционной системой, а не поделкой майкрософта :)

[Дмитрий Котеров]

Melethron wrote:

Было бы здорово, если бы можно было тестировать свои скрипты с Realplexor на денвере.

Будет можно в будущем, функционал в разработке.

[Аноним]

Здравствуйте, у меня проблема. Установил все по мануалу, при попытке добавить сообщение в канал выскакивает такое исключение:

Quote:

Fatal error: Uncaught exception 'Dklab_Realplexor_Exception' with message 'No Content-Length header in response headers:

Дальше идет шапка, в которой нет Content-Length, но заголовок сообщает "HTTP/1.1 200 OK", с чем это может быть связанно?

[Аноним]

Прошу прощения, указал WAIT адрес при подключении со стороны сервера, вместо IN адреса. Теперь все работает, как часы.

[Melethron]

Дмитрий Котеров wrote:

Будет можно в будущем, функционал в разработке.

Это очень здорово! Спасибо вам за всё это!

[Solomina]

Прошу прощения за глупый вопрос. А как это можно запустить на обычном платном виртуальном хостинге? Просто распаковать в корень сайта? Или у сайтмейкера с "обычными" мозгами ничего не получится? Сможете подсказать, какие шаги предпринять?

[Юрий Насретдинов]

Solomina
Вам нужен как минимум VDS, или же виртуальный хостинг с возможностью запускать демонов (как правило, такие тарифные планы стоят существенно больше).

[Solomina]

Правильно ли я поняла, что для работы с Dklab Realplexor сначала нужно освоить его на локальной машине с Линуксом, а создать в интернете проект возможно только с помощью администраторов web-сервера, так как настроить его под эту штуковину очень сложно? А существует ли какая-нибудь библиотека, обеспечивающая общение на сайте, которую можно просто в папке загрузить на веб- сервер и обращаться к её методам из php скриптов сайта.
Судя по описанию и примерам,Dklab Realplexor очень хорошая штука, но всё же не понятно как её использовать на сайтах.

[Юрий Насретдинов]

Эта библиотека, насколько я понял, расчитана больше на владельцев либо VDS, либо собственного сервера, и умения его настроить. В других случаях придется пользоваться менее производительными решениями.

[Solomina]

Ну, что-ж! Видимо опять придётся самой писать "менее производительное решение". А я уж думала - Вот оно -Счастье!

[chop-chop]

Ну если вы можете сама написать хоть какое то решение то посмотрите в сторону тех длинных запросов.
Аякс открывает соединение, скрипт на сервере крутится в цикле (внутри цикла обязательно sleep(1)) пока не увидит новое сообщение. Как только появляется новое сообщение - сразу же вывод. Аякс получает сообщение, обрывает соединение и сразу же открывает новое. Нагрузка на сервер намного меньше чем при запросе через каждые две секунды. Доставка сообщений мгновенная. Если ещё сообщения хранить в мемкэше, то вообще все в порядке будет. Для промышленных решений подойдет врядли, а вот для ваших точно подойдет.

[Аноним]

У Event-Lib нет проблемы с debian amd64? Никак не могу поставить.

[chop-chop]

Я тоже замучился ставить на Кубунту. Потратил не мало времени. Только что вот закончил)
Поставил я realplextor, запустил пишет что то не то смотри лог. В логе написано нет libevent и написано как его установить.
Конкретно:
apt-get install libevent-dev gcc
perl -MCPAN -e "install Event::Lib"

первое проходит, второе начинает ругаться
долго мучался пытаясь понять что да как
решил удалить все установленное apt-get (что касалось эвентлиба), и собрать вручную
скачал www.monkey.org/~provos/libevent-2.0.3-alpha.tar.gz
тут то и открылась истина - одного gcc было мало
доустановил
apt-get install libc6-dev g++
библиотека собралась на ура.
после этого
perl -MCPAN -e "install Event::Lib"
все без ошибок
сервер тоже запустился.

Видимо более правильная инструкция по установке должна выглядеть так
apt-get install libevent-dev libc6-dev g++ gcc
perl -MCPAN -e "install Event::Lib"

[Lance]

Hi Dmitry Kóterov,

This looks really cool ! I try the sand box and it does not seem to do anything? (Safari OS X)

It loads ok but does not seem to post any data to any of the chat channels..

Thanks,

Lance

[aleks_raiden]

Приветствую,

Используем Realplexor в своем стартапе, возник вот какой вопрос:

Как я понимаю, если канал никто не слушает и прошло указанное в конфиге время (CLEAN_ID_AFTER), канал будет очищен. Но если канал не слушается, но я посылаю в него сообщения, то получится что сначала заполнится очередь буфера (по умолчанию, 30 последних), потом же будут сохранятся только последние 30 сообщений, так? А по прошествии CLEAN_ID_AFTER вся очередь очистится и, если я дальше посылаю сообщения, они снова будут сохранятся в буфер и так снова по кругу?

Возможно ли тогда сделать такой режим, чтобы буфер не очищался а всегда хранился в виде N последних сообщений? и очищался только если его никто не слушает и не пишет в него CLEAN_ID_AFTER время?

[Аноним]

Смог установить Event-Lib на 64битной системе только с исходников в принудительном режиме (два теста проваливаются, причины неизвестны). Но после этого проблемы не кончились. При 300 одновременных событиях, рассылаемых 80 подписчикам, cpu улетает в 100%. В среднем процесс perl часто отнимает 15-20% процессора, даже при малом количестве подписчиков. Я думаю, что так быть не должно, с чем это может быть связанно?

[Дмитрий Котеров]

Lance wrote:

This looks really cool ! I try the sand box and it does not seem to do anything? (Safari OS X) It loads ok but does not seem to post any data to any of the chat channels..

Very strange. We tested it in all modern browsers.
Could you please test it on Safari and immediately after that - on Firefox?

[Дмитрий Котеров]

aleks_raiden wrote:

Как я понимаю, если канал никто не слушает и прошло указанное в конфиге время (CLEAN_ID_AFTER), канал будет очищен.

Это не так. Канал будет очищен, если с момента последней ЗАПИСИ в него прошло как минимум CLEAN_ID_AFTER секунд. Читатели не учитываются.

aleks_raiden wrote:

Возможно ли тогда сделать такой режим, чтобы буфер не очищался а всегда хранился в виде N последних сообщений? и очищался только если его никто не слушает и не пишет в него CLEAN_ID_AFTER время?

Вы можете присвоить CLEAN_ID_AFTER очень большое число - например, 1 год (3600 * 24 * 365).

[Аноним]

Кроме производительности (возможно это просто неправильная конфигурация сервера, или недостаток ресурсов, или проблема Event-Lib на amd64), есть еще вопрос.

У меня есть два канала, допустим «global» и «unique», клиент слушает два этих канала и с этим все в порядке (если судить по GET параметрам запроса). На сервере происходит два события, например добавление контента и обновление статистики, первое событие отправляется в «unique», а второе в «global». Это происходит при одном запросе, но через два вызова send() из realplexor php api. Проблема в том, что второе событие из двух всегда не доходит до пользователя. Если их поменять местами, то, соответственно, придет другое событие из двух, а оставшееся - нет. Если добавить 10 send(), то первое приходит нормально, а остальные не доходят. С слушателями все в порядке, если одно из этих событий произойдет на другой странице - данные приходят. А если на одной странице два send() в разный набор каналов, то не приходит. В чем может быть причина подобного поведения?

[Аноним]

Постоянно такие ошибки:

Quote:

<GEN592021> line 1 during global destruction. Jan 24 19:38:52 realplexor/dklab_realplexor.conf: Use of uninitialized value $fh in delete at Storage/PairsByFhs.pm line 27, <GEN592021> line 1 during global destruction. Jan 24 19:38:52 realplexor/dklab_realplexor.conf: #011(in cleanup) Can't call method "debug" on an undefined value at Event/Lib/Connection.pm line 82, <GEN592021> line 1 during global destruction. Jan 24 19:38:52 realplexor/dklab_realplexor.conf: Use of uninitialized value $fh in delete at Storage/ConnectedFhs.pm line 27, <GEN592021> line 1 during global destruction. Jan 24 19:38:52 realplexor/dklab_realplexor.conf: Use of uninitialized value $fh in delete at Storage/ConnectedFhs.pm line 27, <GEN592021> line 1 during global destruction. Jan 24 19:38:52 realplexor/dklab_realplexor.conf: Use of uninitialized value $fh in delete at Storage/PairsByFhs.pm line 27, <GEN592021> line 1 during global destruction.

Что это значит?

[Аноним]

А, с этим разобрался. Это при неправильном отключении такие ошибки. Извиняюсь.

[Дмитрий Котеров]

Аноним wrote:

Если добавить 10 send(), то первое приходит нормально, а остальные не доходят.

Не удается воспроизвести.

Более того, на демо-странице rutvit.ru/realplexor/demo?ids=aaa при выборе внизу "Повторить 2 раза" как раз производится отправка нескольких сообщений в один канал, примерно вот таким кодом:

for ($i = 0; $i < max(@$_POST['repeat'], 1); $i++) {
    $mpl->send($ids, $_POST['message'] . (@$_POST['repeat'] > 1? " #$i" : ""));
}

Уточните, пожалуйста, шаги по воспроизведению.

[Lance]

Hi Dmitry Kóterov,

I also tested on Firefox 3.5.2 OS X 10.5.8 no response on any channel in the sandbox.

Is anyone else having the demo work on os X?

Regards,

Lance

[Guest]

Дмитрий Котеров wrote:

Уточните, пожалуйста, шаги по воспроизведению.

Вот пример:

Code (php):	скопировать код в буфер обмена
$rpl -> send(array (www.php.net/array)('one', 'two'), 'data'); $rpl -> send('three', 'data2');

У меня к слушателю, который слушает 'one' и 'three' данные data2 не доходят.
Скорее всего, конечно, это у меня где-то ошибка. Но на всякий случай проверьте.

И еще, я думаю это не нормально, если от одного ядра Intel(R) Core(TM) i7 CPU @ 2.67 процесс perl при 20-30 подписчиках (и 50 каналах) при обновлении занимает 30-60% процессора? У вас используется библиотека EventLib на какой архитектуре, 64 бита? Не может ли с этим быть проблем, просто тесты при make test проваливались и я установил её принудительно. А теперь при большом количестве сообщений заметно понижается производительность, хотя это "большое количество", на самом деле, сравнительно небольшое — 100-200.

[Guest]

По моему, даже если один адресат, надо передавать массивом:

Code (php):	скопировать код в буфер обмена
$rpl -> send(array (www.php.net/array)('three'), 'data2');

[Guest]

LanceHi A follow-on to this...It was the google translator page. I thought I might try to find the original URL and once pointed to that it works great!! Very keen on using this ;) Thanks, Lance

[Дмитрий Котеров]

New version - 1.24.

Many speed improvements. To achieve maximum speed, try to set VERBOSITY to 0 or 1 in your configuration. Also get rid of "automatic" cursors: they use Math::BigFloat (still), and Math::BigFloat is very slow. Specify cursors manually in $rpl->send() API method.

* Dklab Realplexor 2010-01-30: v1.24
  - [BUG] Avoid warnings in log on unexpected disconnect.
  - [NEW] Refactoring and profiler support.
  - [SPD] Do not create extra shell while calling ulimit.
  - [NEW] Support for per-config log facility.
  - [SPD] Profiler tool with IN line ignorance. Avoid BigFloat in events: 45% speedup. Apache ab patched utility.
  - [SPD] Keep channels pre-sorted after addition. It speedups 60%, because we need less cursor comparisions.
  - [SPD] STDOUT buffering in non-verbose mode. More verbosity levels. Logger speedup. Custom config for profiler script.

Current profiler map attached. :)

P.S.
This new version passes all auto-tests, but if you find a bug in it, please report it here.

---

map.png
Description:
Filesize:	45.96 KB
Viewed:	166015 Time(s)

---

[Аноним]

Спасибо, сейчас потестируем на реальном проекте.

[Дмитрий Котеров]

А что у Вас за проект?

[aleks_raiden]

У нас уже несколько недель на тестовом сервере работает ок, вчера перевел на новую версию, пока вопросов нет. Что за приложение - веб-система трейдинговая.

[Sign63]

здравствуйте, я пытаюсь использовать multiplexor из программы-клиента на Си
в бинарнике client.c вставляю строку GET 127.0.0.1:8088/?identifier=1z2y3z HTTP/1.0\r\n\r\n мультиплексор пишет что принято, клиент онлайн
потом передаю данные через telnet, программа client.c ничего не принимает/не отображает
Не могли бы вы мне помочь разобраться, как разработчик multiplexor'a?

Code (c):

скопировать код в буфер обмена

#include <stdio.h> #include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <netdb.h> void error(char *msg) {     perror(msg);     exit(0); } int main(int argc, char *argv[]) {     int sockfd, portno, n;     struct sockaddr_in serv_addr;     struct hostent *server;     char buffer[256];     if (argc < 3) {        fprintf(stderr,"usage %s hostname port\n", argv[0]);        exit(0);     }     portno = atoi(argv[2]);     sockfd = socket(AF_INET, SOCK_STREAM, 0);     if (sockfd < 0)         error("ERROR opening socket");     server = gethostbyname(argv[1]);     if (server == NULL) {         fprintf(stderr,"ERROR, no such host\n");         exit(0);     }     bzero((char *) &serv_addr, sizeof(serv_addr));     serv_addr.sin_family = AF_INET;     bcopy((char *)server->h_addr,          (char *)&serv_addr.sin_addr.s_addr,          server->h_length);     serv_addr.sin_port = htons(portno);     if (connect(sockfd,&serv_addr,sizeof(serv_addr)) < 0)         error("ERROR connecting");     printf (www.opengroup.org/onlinepubs/009695399/functions/printf.html)("Please enter the message: ");     bzero(buffer,256);     fgets(buffer,255,stdin);     n = write(sockfd,buffer,strlen(buffer));     if (n < 0)          error("ERROR writing to socket");     bzero(buffer,256);     n = read(sockfd,buffer,255);     if (n < 0)          error("ERROR reading from socket");     printf (www.opengroup.org/onlinepubs/009695399/functions/printf.html)("%s\n",buffer);     return 0; }

[Юрий Насретдинов]

Так Вы запрос неполный отправляете, он же должен кончаться на \r\n\r\n, а Вы считываете и отправляете лишь одну строчку (используя fgets). Вам вообще нужно либо использовать неблокирующие операции чтения/записи, либо читать из сокета в отдельной нити, иначе Вы все равно ничего внятного получить не сможете.

[Guest]

подправил кое-что, но не получается сделать non blocking чтение сокета

Code (c):	скопировать код в буфер обмена
n = read(sockfd,buffer,255);

Code (c):	скопировать код в буфер обмена
#include <unistd.h> #include <fcntl.h> . . sockfd = socket(AF_INET, SOCK_STREAM, 0); fcntl(sockfd, F_SETFL, O_NONBLOCK); n = read(sockfd,buffer,255); .

Выдает ошибку

Code (any language):	скопировать код в буфер обмена
ERROR reading from socket: Transport endpoint is not connected

[Юрий Насретдинов]

Гость wrote:

Выдает ошибку ERROR reading from socket: Transport endpoint is not connected

Ну что Вы, пишете на C, а ведете себя как человек, впервые увидевший компьютер :). По-моему, текст ошибки достаточно четкий смысл имеет, переведите :).

[Guest]

Си я изучаю только первую неделю, поэтому испытываю затруднения.
Я так понимаю что для мастдая нужно использовать winsock api и выше приведённое работать не будет?
И еще Дмитрий упоминал на хабре что будет писать клиент на других языках. Когда ожидать?